大西洋月刊：OpenAI在防止AI技术滥用方面不断失控

记者｜Karen Hao, Charlie Warzel

编译｜张司钰

编辑 | 王杰夫

11月17日，OpenAI CEO Sam Altman突然被董事会解雇，消息一出立刻震惊整个AI圈。自2018年Altman执掌OpenAI以来，他确立了以Transformer大模型为主要技术路线，并且改组公司结构、引入投资人，使得OpenAI从一家边缘化的纯研究机构逐渐成长为生成式AI浪潮中估值近千亿美元的核心公司。

然而商业成功并非一切，至少在首席科学家Ilya Sutskever看来，Altman领导下的OpenAI走得太快了，他反对在技术没有「对齐」前向过多用户开放，认为一个不受控制的AI可能会毁灭人类。尤其在11月2日OpenAI取得新的重大进步后，Sutskever的担忧达到顶峰，最终引发了这次罢免风波。

这似乎又是一次关于「科学家还是企业家」「安全还是效率」的老生常谈，无论Sutskever还是Altman都有大量支持者，双方都认为对方过于鲁莽或谨慎。11月19日，就在风波动荡中，《大西洋月刊》通过本文透露这场争端由来已久，作者回溯了ChatGPT发布一年来的关键时刻，展现了对于AI安全的不同态度如何在OpenAI内部造成撕裂，并最终导致此次风波。

其中揭露了这样一个事实：追求AI模型本身的无害性只是AI安全的「上游技术」，OpenAI首席科学家Ilya Sutskever今年7月组建的「超级对齐」团队就意在解决这个层面的问题。但若要管控风险，还要发展AI安全的「下游技术」——监控和理解用户行为、防止技术滥用，而这正是OpenAI已经失控的部分。

本文由新皮层团队编译。

Key Points

ChatGPT最初发布是出于管理层与Claude竞争的考量；

ChatGPT的流量激增给OpenAI的服务器与流量监控工具带来不小压力；

GPT-4推出后，安全部门的人员不得不花费更多精力去处理欺诈、滥用等行为；

Sutskever领导的超级对齐团队致力于开发上游AI安全技术，以预防未对齐AI的风险，但这与Altman期望的公司快速商业化步伐相悖；

OpenAI的未来受内部围绕原则与利润的紧张关系，以及外部技术乐观主义者与末日论者之争的影响。

在2022年秋季，ChatGPT发布前，OpenAI全体员工正为公司迄今为止最强大的大型语言模型GPT-4的发布做准备。团队忙于完善这个模型，使之能流畅地写作、编程，以及描述图像内容。他们努力准备支持产品所需的基础设施，并细化政策，以确定OpenAI将容忍和不容忍哪些用户行为。

就在这一切进行时，OpenAI内部开始传闻，竞争对手Anthropic已在开发自己的聊天机器人。这场竞争带有个人色彩：Anthropic是一批OpenAI前员工因担心公司产品发布速度过快而离开后在2020年成立的。3位当时在公司的人士称，11月，OpenAI的领导告诉员工，他们需要在几周内推出一个聊天机器人。为此，他们指示员工优先发布现有模型GPT-3.5，并配以聊天界面。领导层谨慎地将此举框定为「低调的研究预览」，而不是产品发布。

Altman和其他高管认为，通过将GPT-3.5交到人们手中，OpenAI可以收集更多使用数据，了解人们如何使用和与AI互动，这将帮助公司进一步完善GPT-4的开发。这种方法也符合公司逐步发布技术让人们适应的更广泛部署策略。包括Altman在内的一些高管开始重复同一句话：OpenAI需要启动「数据飞轮」（指通过客户在应用程序中输入的提示词这样的数据反馈，使大模型快速迭代）。

一些员工对于匆忙推出这种新的对话模型表示不安。OpenAI因GPT-4的准备工作而人力紧张，且无法应对可能改变风险格局的聊天机器人。就在几个月前，OpenAI开启了一种新的流量监控工具，用于追踪基本用户行为。他们还在完善这个工具的功能，以了解人们如何使用公司的产品，这将进一步指导公司如何处理技术可能带来的危险和滥用。其他员工则认为，将GPT-3.5变成聊天机器人可能面临的挑战很小，因为该模型本身已经充分测试和完善了。

OpenAI没有停止前进，在2022年11月30日推出了ChatGPT。只是这一事件非常低调，以至于许多未直接参与的员工，包括那些负责安全功能的员工，甚至没意识到它发生了。一位员工称，其中一些知情的人开始开赌局，猜测在发布第一周会有多少人使用ChatGPT。最高的猜测是10万用户。后来，OpenAI总裁在原Twitter平台上表示，该工具在发布5天内收获了100万用户。在OpenAI内部，「低调的研究预览」这个词迅速成为一个梗，有员工还将它做成了笔记本电脑贴纸。

ChatGPT的成功给公司带来了巨大的压力。研究团队的算力被重新分配，以处理流量激增。随着流量持续激增，OpenAI的服务器反复崩溃；流量监控工具也反复故障。即使工具在线，员工也因其功能有限而难以详细了解用户行为。

公司内部的安全团队试图放慢进程。这些团队努力完善ChatGPT，以拒绝某些类型的滥用请求，并对其他查询作出更合适的回应。但他们在构建诸如自动禁止反复滥用ChatGPT的用户的功能上遇到了困难。与此相反，公司的产品部门希望趁势加大商业化规模。数百名员工被雇来积极拓展公司的产品。

今年2月，OpenAI发布了ChatGPT的付费版本；3月，它迅速推出了一个API工具，即应用程序编程接口，帮助企业将ChatGPT整合到他们的产品中。两周后，它最终推出了GPT-4。

新产品的推出让情况变得更糟，据当时在公司的3名员工说，流量监控工具的功能严重滞后，很难追踪ChatGPT和GPT-4通过新API工具被集成到了哪些产品中，这使得理解用户行为和阻止滥用变得更加困难。

与此同时，因为用户大规模创建账户，API平台上的欺诈行为激增。为遏制OpenAI的收入损失，并防止用户通过不断创建新账户来逃避用量限制，阻止欺诈成为首要任务。本已人手不足的信任与安全部门员工被重新分配，从其他滥用领域转为关注这一问题。在日益加剧的压力下，一些员工出现了心理健康问题。内部沟通也不顺利。同事们在Slack上注意到同事消失后，才发现他们已被解雇。

GPT-4的发布也让对齐团队感到沮丧，该团队专注于更上游的AI安全挑战，比如开发各种技术，让模型遵循用户指令，防止它发表有害言论或「幻觉」，即自信地将错误信息作为事实呈现。该团队的许多成员，包括越来越多对更高级AI模型存在的风险感到恐惧的人，对GPT-4的快速推出和被广泛整合到其他产品中感到不安。他们认为自己所做的AI安全工作是不足的。

紧张局势最终在高层爆发。随着Altman和总裁Greg Brockman鼓励更多商业化，公司首席科学家Ilya Sutskever对于OpenAI是否仍坚守创建有益AGI的非营利组织的使命越来越担忧。

过去几年，OpenAI的大型语言模型的迅速进展使Sutskever对AGI即将到来更加自信，因此更加专注于预防其可能带来的危险，据他在多伦多大学的博士导师、AI先驱Geoffrey Hinton说，他与Sutskever多年来一直保持密切联系。

在预见这项全能技术即将到来之际，Sutskever开始表现得像一位精神领袖。他不断热情地重复着「感受AGI」(Feel the AGI!)的口号，这是指公司正处于实现其终极目标的边缘。在OpenAI 2022年的假日派对上，这个派对在加利福尼亚州科学院举行，Sutskever带领员工高呼：「感受AGI！感受AGI！」(Feel the AGI! Feel the AGI!)。这个短语本身非常受欢迎，OpenAI的员工甚至在Slack中创造了一个特殊的表情符号。

Sutskever对OpenAI的技术能力越来越有信心，他也越发广泛地与公司内部的存在主义风险派系（这些人普遍对AGI的能力表示担忧）结盟。据了解，今年的领导层外出活动中，Sutskever委托一位当地艺术家制作了一个木制雕像，意在代表一种「未对齐」的AI——不符合人类目标的AI。然后他将其烧毁，象征OpenAI对公司创始原则的「承诺」。

7月，OpenAI宣布成立所谓的超级对齐团队，由Sutskever领导。OpenAI将扩大对齐团队的研究，以开发更多上游AI安全技术，为AGI领域10年内可能面临的情况做准备，公司表示将为此专门投入现有计算机芯片的20％。

与此同时，公司的其他部门继续推出新产品。在超级对齐团队成立后不久，OpenAI发布了图像生成器DALL·E 3。然后，在本月早些时候，公司举行了第一次「开发者大会」，Altman在会上发布了GPTs，这是无需编码就能构建的ChatGPT的定制版本。但这些举措再次导致了重大问题：OpenAI经历了一系列中断，包括ChatGPT及其API的大规模中断。开发者大会结束后3天，由于安全问题，微软短暂限制员工访问ChatGPT。

尽管如此，Altman没打算止步。在被解雇的前几天，他一直在为OpenAI持续的进步制造炒作机会。他先是告诉《金融时报》，公司已经开始着手开发GPT-5。几天后，他又在亚太经合组织（APEC）峰会上暗示了一些令人难以置信的事情：「就在过去的几周里，当我们揭开无知的面纱，推进发现的边界时，我有幸在场，能够做到这一点是我职业生涯的荣耀。」

Altman还在寻求从软银和中东投资者那里筹集数十亿美元，以建立一家能与英伟达和其他半导体制造商竞争的芯片公司，这也将降低OpenAI的成本。在一年内，Altman帮助OpenAI从一个研究机构转变为一家全速增长的硅谷技术公司。

在这种背景下，不难理解紧张情绪是如何爆发的。OpenAI的宪章将原则置于利润、股东和任何个人之上。公司的部分创始人，包括Sutskever在内，正是那些对人工智能潜力感到恐惧的人，他们的信念有时似乎植根于科幻领域，他们中的一部分现在也是OpenAI的董事会成员。但Altman将OpenAI的商业产品和筹资努力定位为实现公司最终目标的手段。他告诉员工，公司的模型还处于足够早期的开发阶段，OpenAI应该商业化并产生足够的收入，以确保可以在对齐和安全问题上不受限制地投入。据报道，ChatGPT的年收入预计超过10亿美元。

Altman被解雇可以被视为OpenAI不寻常结构下的一个惊人试验。这个试验现在可能正在解构我们所熟知的OpenAI，并随之改变AI的发展方向。如果Altman因投资者的压力和当前员工的呼声而重返公司，将造成一次巨大的权力集中（注：本编译稿发布当天，Altman宣布重返OpenAI担任CEO）。这表明，尽管有其宪章和崇高的信条，OpenAI毕竟只是一家传统的技术公司。

不过即使没有Altman，这个动荡的周末也显示出，针对我们这个时代可能最重要的技术发展，只有少数人有发言权。AI的未来正被富有的技术乐观主义者、狂热的末日论者和价值数十亿美元的公司之间的意识形态之争所决定。OpenAI的命运可能悬而未决，但OpenAI这个名字代表的开放性已经遭到限制。AI技术的未来，或许将在幕后被决定。

原文链接：

https://www.theatlantic.com/technology/archive/2023/11/sam-altman-open-ai-chatgpt-chaos/676050/

-END-

我们是一个诞生于GPT浪潮、由《第一财经》YiMagazine孵化的全新内容IP。

和每一位关心技术、关注人类命运的读者一样，我们希望在这个充满不确定性的时代，更好地理解快速变化的科技世界，也更好地理解生而为「高级智能」的我们自己。

在这个目标下，我们计划从学术、商业、伦理、监管等多个角度报道和讨论与“智能”相关的议题。请注意，我们说的智能，不只是 AI。

若想了解更多资讯，请点击阅读往期智能晚报：

与记者交流，可添加微信（请备注公司名称和姓名）：

王杰夫 微信号: wjfsty

张司钰 微信号: helianthus351

吴洋洋 微信号: qitianjiuye

喜欢就关注我们吧，记得「设为星标」